【精彩论文】基于混合神经网络的电力调度文本事件抽取方法

‍

基于混合神经网络的电力调度文本事件抽取方法

刘赫¹, 皮俊波¹, 宋鹏程¹, 赵翰林¹, 张越^2,3, 刘显壮¹

（1. 国家电网有限公司 国家电力调度控制中心，北京 100031; 2. 南瑞集团有限公司（国网电力科学研究院有限公司），江苏 南京 211106; 3. 北京科东电力控制系统有限责任公司，北京 100192）

摘要：为了提升电力调度文本在业务场景的应用效果，提出基于混合神经网络的电力调度文本事件抽取方法。以电力调度文本故障处置预案为研究对象，建立以预案触发词为中心的事件抽取模型。通过仿真案例验证了所提方法具有较好的事件抽取效果，能够提升实体和实体关系识别的准确率。

引文信息

刘赫, 皮俊波, 宋鹏程, 等. 基于混合神经网络的电力调度文本事件抽取方法[J]. 中国电力, 2022, 55(9): 105-110, 120.

LIU He, PI Junbo, SONG Pengcheng, et al. An event extraction method for power dispatching text based on hybrid neural network[J]. Electric Power, 2022, 55(9): 105-110, 120.

引言电力调度文本中含有大量保障电网安全稳定运行的知识^[1-2]。面对日益复杂的电网调度业务，研究电力调度文本实体识别和事件抽取具有重要意义^[3-7]。电力调度文本实体识别和事件抽取属于自然语言处理范畴。传统的实体识别和事件抽取方法存在人工成本高、灵活性低等问题。为了实现文本特征智能识别，深度学习领域循环神经网络（recurrent neural network，RNN）被应用于提取文本序列特征^[8]，但存在梯度消失问题，难以有效识别长文本序列特征。文献[9]提出了基于具有门控机制的长短期记忆网络（long short term memory，LSTM）实体识别方法。文献[10-12]分别采用卷积双向长短期记忆网络、双向长短期记忆网络等方法完成识别工作。在电网领域中，文献[13-14]提出电力调度文本实体识别和事件抽取是建设智能调控机器人应用场景的关键技术，也是调控人工智能平台的基础能力。文献[15]通过提取调度规程故障处置要点，提升了线路故障处置效率和规范性。文献[16]建立了停电计划文本实体识别模型。文献[17]基于双向长短期记忆网络-条件随机场（bidirectional long short term memory-conditional random field，BiLSTM-CRF）建立变压器缺陷文本实体识别模型。综上，目前电力文本解析常基于深度学习建立实体识别模型，难以对文本事件中所有要素按照语言逻辑进行提取。

本文基于变换器双向编码器表征技术（bidirectional encoder representations from transformers，BERT）训练的动态词向量表示预案文本特征。基于双向长短期记忆网络-条件随机场训练预案实体特征和触发词特征。基于文本卷积神经网络（text convolutional neural network，TextCNN）训练预案触发词与实体间的关系特征，建立以预案触发词为中心的事件抽取模型，从而提升电力调度文本事件抽取准确率。

1  电力调度文本特点电力调度文本种类多样，包含调度规程、故障处置预案、工作票、停电计划以及启动方案等。其中故障处置预案变化频繁，但对调度业务具有重要作用，因此本文选择故障处置预案作为研究对象。

故障处置预案随电网运行方式、季节等因素变化频繁，各地区调控中心每年都会编制迎峰度夏预案。故障处置预案包含电网在各种运行方式下重大故障和处置方式，对保障电网安全稳定运行至关重要。现行故障处置预案是调度员凭借工作经验离线进行编制。电网故障处置措施需要结合电网运行方式进行校核，对不合适的处置措施进行辅助修改。对于校核后的故障处置预案，可以支撑故障处置预案在线监视和故障处置预案智能推送。故障处置预案校核的基础是预案电子化，需要得到预案事件种类、操作对象名称、操作对象程度等电子化信息进行校核。故障处置预案构成如图1所示。故障处置预案文本以非结构化形式存在。在预案校核过程中，需要对故障处置措施以及故障后运行方式等内容进行解析，生成预案解析后的信息。根据故障处置预案应用需求，本文提出了以预案执行动词为触发词的预案事件要素抽取方法。

图1  故障处置预案构成

Fig.1  Composition of fault handling plan

2  电力调度文本事件抽取方法2.1  混合神经网络结构BERT预训练模型主要通过文本预处理层提升对自然语言特征表示能力，BERT模型结构可以参考文献[18-22]。本文基于BERT训练的动态词向量表示预案文本特征。电力调度文本首先须进入文本预处理层，将输入文本进行随机遮掩，采用非监督学习方法预测遮掩词汇，使语言模型能够利用信息进行编码，从而加强BERT模型的双向语言表征能力。电力调度文本前后字符语义关联性较强，本文通过LSTM识别命名实体标签。与此同时，为了获取电力调度文本双向语义信息，采用BiLSTM识别实体标签，双层网络从预案文本正向训练得到隐含层向量h_p，从预案文本反向训练得到隐含层向量h_t，通过将h_p和h_t首尾拼接得到保留双向语义的隐含层向量h_t2。h_t2的维度与电力调度文本命名实体标签数相同，各维数值中最大的对应的预案实体标签基本为预案实体字符正确标签。在识别电力调度文本实体时，BiLSTM提取了文本双向语义信息，但还未能考虑预案实体间的依存联系，因此本文采用条件随机场（conditional random field，CRF）表示电力调度文本实体中字符标签与全局字符标签的依存关系，从而预测出最优的实体字符标签。CRF可对电力调度文本实体字符标签进行综合评分。

采用TextCNN网络^[23-25]训练电力调度文本不同实体对与实体关系标签的映射关系，实现对实体关系的识别和分类。具体结构如图2所示。

图2   TextCNN网络结构

Fig.2  Network structure of TextCNN

将经过BERT模型转化的电力调度文本向量序列作为TextCNN输入。卷积层通过3个不同尺寸的卷积核对电力调度文本向量进行特征提取，经过激活函数得到每个特征步向量。经过卷积操作，得到当前滤波器输出的特征图表达式。最后经过池化操作，通过选取每个特征图的最大值捕捉电力调度文本重要特征信息，采用拼接方法得到电力调度文本新的特征向量。基于全连接层计算电力调度文本所对应的实体关系标签概率值，选择概率最大的实体关系标签作为文本序列预测的正确结果。

电力文本事件抽取混合神经网络由BERT、BiLSTM-CRF、TextCNN共3种神经网络构成，基于BERT预训练的动态词向量将电力专业文本转化为可计算的词向量，采用BiLSTM-CRF网络框架建立预案实体识别模型，采用TextCNN建立预案实体关系抽取模型。网络结构如图3所示。在图3中，x_n、h_n、c_n分别为第n个输入字符、字符隐含层向量、信息记忆单元向量。

图3   混合神经网络结构

Fig.3  Hybrid neural network structure

通过BERT将调度专业文本字符转化为768维向量，将预案实体向量输入BiLSTM网络模型，采用前向和后向2个不同LSTM网络训练文本序列特征，通过CRF层提升预案实体触发词和名词的准确率。其中LSTM网络单元隐藏层状态维度为200，隐含层数为2。通过BiLSTM-CRF识别的预案实体种类主要为实体名词（noun）和实体动词（action）。动词为文中所定义的预案事件触发词。在TextCNN训练预案的实体关系识别过程中，设定3个卷积核宽分别为1、3、5，卷积核数分别为30、40、50。故障处置预案实体关系抽取本质是多分类问题，本文采用Softmax函数实现故障处置预案实体关系分类。预案实体关系依据触发词与各实体名词间的语法可以划分为操作发起者（sub-object）、操作对象（object）、操作对象补语（com-object）、操作对象前置状语（pre-object）、操作对象后置状语（rea-object）。2.2  预案事件触发词标记及识别通过分析故障处置预案语言特点，每条预案事件均含有执行动词，因此本文提出了以执行动词为触发词的故障处置预案标记方法。预案实体名词与触发词存在语法关系，这样可以通过识别触发词将预案事件中所有事件要素提取出来，从而提高预案实体识别和事件抽取准确率。部分预案事件特征分析结果如表1所示。

表1  预案事件特征分析结果

Table 1  Characteristic analysis results of plan events

以执行动作为触发词的预案事件抽取方法可以解决预案专业语言表述倒装、语序混杂以及电力设备实体表述不规范等问题。从表1中可以看出，预案事件中的动词位置不固定，导致语法各成分位置不固定，基于规则和机器学习方法建立的实体识别模型难以较好地解析预案。本文所提以触发词为中心的预案识别方法首先识别触发词位置和各实体名词位置，然后通过识别触发词与各实体名词的语法关系，可以将预案事件中各成分准确识别出来。以“控制南湖电厂出力不超过100万kW”典型预案为例，首先识别“控制”触发词和“南湖电厂”“不超过100万kW”实体名词，然后识别“控制”与“南湖电厂”间关系为操作对象，“控制”与“不超过100万kW”间关系为操作对象后置状语，只要在触发词识别准确的情况下，可以有效地实现预案事件抽取。对于电力设备实体表述不规范情况，如“东湖I、II线”的实体名词包含2个电力实体“东湖I线”“东湖II线”，先用模型识别“东湖I、II线”整个实体，再使用规则进行实体拆分。具体预案标记实例如图4所示。

图4   故障处置预案文本标记实例

Fig.4  Marking example of fault handling plan text

3  算例分析3.1  电力调度文本事件抽取效果

采用某调控中心历史故障处置预案作为研究对象，将每个预案的标题、稳定控制要求和紧急控制阶段处置措施对应的预案文本作为试验数据。通过本文方法标记2种预案实体和5种实体关系，共标记1 000个预案语句，每个预案语句中有1个触发词，生成预案实体4 110个，生成预案实体关系3 110个，其中3 690个实体和2 790个实体关系作为训练样本，剩余420个实体和320个实体关系作为测试样本。本文基于Pytorch框架搭建算法，方法的训练环境为Intel处理器，CPU运行内存为128 GB，GPU 为NVIDIA 16 GB。

本文采用典型的精确率P_re 、召回率 R_ec 和评价值F₁作为评价故障处置预案实体和实体关系识别结果的评价指标，即

式中：T_P 为预测正确样本数； F_P 为非一类的样本被错误地预测到一类的样本数量； F_N 为一类文本被误预测到其他类别的样本数量。通过本文方法计算训练样本预案实体识别的 P_re 、 R_ec 和F₁分别为98.93%、98.88%和98.90%。采用该模型识别测试样本420个预案实体，2类预案实体的识别效果如表2所示。基于TextCNN网络对2 790个预案实体关系进行分类训练，基于预案实体关系抽取模型对测试样本320个预案实体关系进行识别，5类实体关系的识别效果如表3所示。从表2~3中可以看出，本文方法对故障处置预案实体和实体关系具有较高的识别准确率。2种预案实体识别的平均F₁为95.01%，5种预案实体关系识别的平均F₁为89.71%。

表2  预案实体识别效果

Table 2  Effect of plan entity recognition

表3  预案实体关系抽取效果

Table 3  Effect of plan entity relation extraction

3.2  模型对比

将本文方法与基于正则表达式、基于word2vec词向量的BiLSTM-CRF+TextCNN所建立的预案事件抽取模型对比，各模型对于测试样本2种预案实体和5种预案实体关系识别的平均F₁如表4所示。将各模型预案实体识别和实体关系平均精确率、召回率和评价值对比绘制如图5所示。

表4  各模型预案事件识别效果

Table 4  Plan event recognition effects of various models

图5  预案事件抽取效果

Fig.5  Comparison of plan event extraction effects

结合表4和图5可以看出，本文所提模型的实体识别和实体关系抽取效果要明显优于其他模型。采用上述试验中典型故障处置预案文本验证各模型效果，对于“xx站1#变压器”“xx站1#主变”“xx站1#变”3个含义相同的预案实体，正则表达式模型难以有效地识别实体的边界线，导致实体识别出现错误。对于“控制南湖电厂出力不超过100万kW”和“南湖电厂出力调整范围不能高于100万kW”2个语义相同但表述不同的文本，基于正则表达式的模型可以预配置触发词识别“控制”和“调整”，但很难根据语法识别触发词与“南湖电厂”名词实体的关系为object，导致预案事件识别错误，故基于正则表达式的模型难以应对多样性表述的预案文本，其他2种模型通过训练标记样本，能够较为准确地抽取事件要素，泛化能力优于正则表达式。与以word2vec为词向量的模型相比，以BERT为词向量的模型实体识别和实体关系抽取的F₁分别高出2.86个百分点和4.98个百分点，说明BERT模型比word2vec词向量模型更能够提取电力调度专业文本语义特征，更适合对电力调度文本进行编码。

4  结语为了提升电力调度文本事件抽取准确率，提出基于混合神经网络的电力调度文本事件抽取方法，通过分析电网故障处置预案特点，提出了以触发词为中心的电力文本标记方法和事件抽取方法，通过BERT模型生成调度专业语言词向量，采用BiLSTM-CRF建立预案识别模型，采用TextCNN建立预案实体关系抽取模型。通过某调控中心历史预案验证，所提方法具有较好的事件抽取效果。

（责任编辑　杨彪）

作者介绍

刘赫（1990—），男，硕士，工程师，从事电力系统调度控制研究，E-mail：[e-mail];

★

张越（1989—），男，通信作者，硕士，工程师，从事人工智能在电力系统的应用研究，E-mail：[e-mail].

欢迎点击文后“阅读原文”跳转期刊官网，获取更多信息！

 往期回顾 

编辑：于静茹审核：方彤

声明

根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编《中国电力》编辑部的作品，转载时要包含本微信号名称、二维码等关键信息，在文首注明《中国电力》原创。个人请按本微信原文转发、分享。欢迎大家转载分享。